Tính toán đã trải qua một sự chuyển dịch căn bản từ tối ưu hóa độ trễ thiết kế CPU sang hướng đến năng suất kiến trúc GPU. Trong khi CPU giống như chiếc xe máy giao hàng tốc độ cao (nhanh với một gói hàng), thì GPU lại giống như một con tàu chở hàng khổng lồ: di chuyển chậm hơn mỗi đơn vị nhưng có thể chở tới 50.000 thùng hàng cùng lúc.

1. Độ trễ so với năng suất

Các CPU được thiết kế để giảm thiểu thời gian hoàn thành cho một chuỗi lệnh duy nhất bằng cách sử dụng dự đoán nhánh tinh vi. Ngược lại, Đơn vị xử lý đồ họa (GPU) được thiết kế để tối đa hóa "công việc trên giây" bằng cách thực thi hàng nghìn luồng song song, đánh đổi tốc độ của từng luồng riêng biệt để đạt được năng suất tổng cộng cực kỳ lớn.

2. Phân bổ bóng bán dẫn

GPU cung cấp năng suất lệnh và băng thông bộ nhớ cao hơn nhiều so với CPU trong cùng một mức giá và giới hạn điện năng. GPU chuyên dụng cho các phép tính song song mạnh mẽ và dành nhiều bóng bán dẫn hơn cho các đơn vị xử lý dữ liệu (ALU), trong khi đó CPU lại dành nhiều bóng bán dẫn hơn cho bộ nhớ đệm dữ liệu và điều khiển luồng.

3. Sự phát triển của CUDA

Kiến trúc thiết bị tính toán thống nhất (CUDA) được NVIDIA giới thiệu vào năm 2006. Đây là nền tảng tính toán song song và mô hình lập trình cho phép tăng đáng kể hiệu suất bằng cách tận dụng sức mạnh của GPU mà không phụ thuộc vào các API đồ họa.